import pandas as pd

# 创建一个包含重复值的数据字典
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'David', 'Bob', 'Alice'],
    'age': [25, 30, 35, 25, 40, 30, 25],
    'city': ['New York', 'London', 'Paris', 'New York', 'Berlin', 'London', '曲靖']
}

# 创建DataFrame
df = pd.DataFrame(data)

# 检测重复行
duplicate_rows = df.duplicated()


# 删除重复行，默认行为是只有当所有列都一样，才会删除元素
df_uniq = df.drop_duplicates()

# 通过指定某些列来去重
df_uniq_by_some_axis = df.drop_duplicates(subset=['name', 'age'])